Adam的稳+Muon的快？华为诺亚开源ROOT破解大模型训练「既要又要」的两难困境
Adam的稳+Muon的快？华为诺亚开源ROOT破解大模型训练「既要又要」的两难困境在 LLM 优化领域，有两个响亮的名字：Adam（及其变体 AdamW）和 Muon。
来自主题: AI技术研报
9704 点击 2025-11-27 14:37
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
在 LLM 优化领域，有两个响亮的名字：Adam（及其变体 AdamW）和 Muon。
前 OpenAI 联合创始人、特斯拉 AI 总监 Andrej Karpathy 也一样。他在前几天发推，说自己「开始养成用 LLM 阅读一切的习惯」。Karpathy 在周六用氛围编程做了个新的项目，让四个最新的大模型组成一个 LLM 议会，给他做智囊团。
CUDA 代码的性能对于当今的模型训练与推理至关重要，然而手动编写优化 CUDA Kernel 需要很高的知识门槛和时间成本。与此同时，近年来 LLM 在 Code 领域获得了诸多成功。
多模态大语言模型（MLLM）在目标定位精度上被长期诟病，难以匹敌传统的基于坐标回归的检测器。近日，来自 IDEA 研究院的团队通过仅有 3B 参数的通用视觉感知模型 Rex-Omni，打破了这一僵局。
我们都知道 LLM 中存在结构化稀疏性，但其底层机制一直缺乏统一的理论解释。为什么模型越深，稀疏性越明显？为什么会出现所谓的「检索头」和「检索层」？
近期，HuggingFace 发布的超过 200 页的超长技术博客，系统性地分享训练先进 LLM 的端到端经验。
LLM Agent 正以前所未有的速度发展，从网页浏览、软件开发到具身控制，其强大的自主能力令人瞩目。然而，繁荣的背后也带来了研究的「碎片化」和能力的「天花板」：多数 Agent 在可靠规划、长期记忆、海量工具管理和多智能体协调等方面仍显稚嫩，整个领域仿佛一片广袤却缺乏地图的丛林。
众所周知，大型语言模型（LLM）的根本运作方式是预测下一个 token（词元），能够保证生成的连贯性和逻辑性，但这既是 LLM 强大能力的「灵魂」所在，也是其枷锁，将导致高昂的计算成本和响应延迟。 可
近日，专注于研发物质世界基座模型的公司超越对称（上海）技术有限公司（超对称）发布了新版基座模型 BigBang-Proton，成功实现多个真实世界的专业学科问题与 LLM 的统一预训练和推理，挑战了 Sam Altman 和主流的 AGI 技术路线。
伊利诺伊大学厄巴纳 - 香槟分校（UIUC）等团队近日发布论文，系统性剖析了 LLM 智能体失败的机制，并提出了可自我修复的创新框架 ——AgentDebug。该研究认为，AI 智能体应成为自身的观察者和调试者，不仅仅是被动的任务执行者，为未来大规模智能体的可靠运行和自动进化提供了理论与实践工具。